মাল্টি-ক্লাউড ডেটা স্ট্রিমিং, মাল্টি-ক্লাউড ডেটা স্ট্রিমিং

মাল্টি-ক্লাউড ডেটা স্ট্রিমিং

এই কোডল্যাব সম্পর্কে

subjectজুল ১৩, ২০২২-এ শেষবার আপডেট করা হয়েছে
account_circleNeeraj Gaurav, Ravish Garg-এর লেখা

1. ভূমিকা

b412875666fceda8.png

শেষ আপডেট: 2022-02-08

মাল্টি-ক্লাউড স্ট্রিমিংয়ের প্রয়োজন কেন?

ব্যবসাগুলি সক্রিয়ভাবে একাধিক ক্লাউড প্ল্যাটফর্ম জুড়ে তাদের কাজের চাপ ছড়িয়ে দিতে চাইছে কারণ একাধিক ক্লাউড প্রদানকারীকে ব্যবসার কার্যক্ষম কর্মপ্রবাহে গ্রহণ করার বিভিন্ন সুবিধা রয়েছে যেমন:

  • বিক্রেতা লক ইন
  • ব্যবসার ধারাবাহিকতা ঝুঁকি প্রশমিত করুন
  • নির্ভরতা এবং নির্ভরতা এক প্রযুক্তি স্ট্যাকের উপর

আপনি কি নির্মাণ করবেন

এই কোডল্যাবে, আপনি AWS এবং GCP লিভারেজিং কনফ্লুয়েন্ট ক্লাউডের মধ্যে একটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং সেট-আপ করতে যাচ্ছেন। আপনি করবেন:

  • GCP-এ কনফ্লুয়েন্ট ক্লাউডে একটি ডেডিকেটেড কাফকা ক্লাস্টার সেট-আপ করুন।
  • কনফ্লুয়েন্ট ক্লাউড এবং আপনার GCP প্রকল্পের মধ্যে একটি VPC পিয়ারিং সেট-আপ করুন যাতে এটি একটি ব্যক্তিগত নেটওয়ার্কে অ্যাক্সেস করা যায়।
  • আপনার AWS প্রজেক্ট এবং GCP প্রোজেক্টের মধ্যে একটি VPN টানেল সেটআপ করুন যাতে উভয় হাইপারস্কেলারের রিসোর্স সংযোগ করতে পারে।
  • AWS থেকে Confluent Kafka অ্যাক্সেস করুন এবং AWS থেকে GCP পর্যন্ত কনফ্লুয়েন্ট কাফকা ক্লাউড ব্যবহার করে একটি স্ট্রিমিং পাইপলাইন সেট-আপ করুন।

আপনি কি শিখবেন

  • কনফ্লুয়েন্ট ক্লাউড কাফকা এবং আপনার জিসিপি প্রকল্পের মধ্যে কীভাবে ভিপিসি পিয়ারিং সেট-আপ করবেন।
  • কিভাবে AWS এবং GCP প্রকল্পের মধ্যে একটি VPN টানেল সেট-আপ করবেন।
  • আপনার AWS প্রোজেক্ট থেকে GCP হোস্ট করা কনফ্লুয়েন্ট ক্লাউড কীভাবে অ্যাক্সেস করবেন।

এই কোডল্যাবটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং তৈরির উপর দৃষ্টি নিবদ্ধ করে। অ-প্রাসঙ্গিক ধারণা এবং কোড ব্লকগুলিকে চকচকে করা হয়েছে এবং আপনাকে কেবল অনুলিপি এবং পেস্ট করার জন্য সরবরাহ করা হয়েছে।

আপনি কি প্রয়োজন হবে

  • AWS প্রকল্প অ্যাক্সেস।
  • জিসিপি প্রকল্প অ্যাক্সেস।
  • GCP এবং AWS ক্লাউডের অভিজ্ঞতা।
  • GCP মার্কেটপ্লেস থেকে Confluent Kafka সাবস্ক্রিপশন।

2. সেট আপ হচ্ছে

AWS এবং GCP এর মধ্যে VPN সংযোগ সেটআপ করুন

  • এই ডেমোটি GCP-এ ডিফল্ট VPC (asia-souteast1) এবং AWS-এ ng-vpc-103-mum (ap-south1) ব্যবহার করে।

eac371e8af07fc0c.png

c76e9c670e4f8cca.png

  • AWS-এ, গ্রাহক গেটওয়ে এবং ভার্চুয়াল প্রাইভেট গেটওয়ে (VPG) তৈরি করুন। AWS VPC-তে VPG সংযুক্ত করুন।

55a075a6b951b5df.png

fe23f4315e9369ec.png

  • AWS-এ সাইট টু সাইট ভিপিএন সংযোগ তৈরি করুন।

4c59066457f3ff9.pnga2dde7c3e7cf82e9.png

  • AWS-এ তৈরি টানেলের জন্য কনফিগারেশন ফাইল ডাউনলোড করুন। নির্বাচন করুন
  • বিক্রেতা: জেনেরিক
  • প্ল্যাটফর্ম: জেনেরিক
  • সফ্টওয়্যার: ভেন্ডর অ্যাগনস্টিক
  • Ike সংস্করণ: Ikev2
  • GCP-তে VPN গেটওয়ে এবং VPN টানেল তৈরি করুন।

8d167a30913a46e1.png

উভয় টানেলের জন্য ডাউনলোড করা AWS কনফিগারেশন ফাইল থেকে IP ঠিকানা এবং Ikev2 কী প্রদান করুন।

  • একবার সম্পূর্ণ হলে, টানেলটি UP হতে হবে এবং AWS এবং GCP-এ চলমান হবে৷

baca51d151d7c40.png

ceefee82994ef2d4.png

টানেল সেটআপ এখন সম্পূর্ণ।

  • একটি CIDR ব্লক নির্বাচন করুন যা কনফ্লুয়েন্ট ক্লাউড কনফিগার করতে ব্যবহার করা হবে। AWS-এ একটি স্ট্যাটিক রুট হিসাবে এটিকে VPN টানেলে যোগ করুন।

219fa91dc84bd751.png

GCP মার্কেটপ্লেসে কনফ্লুয়েন্ট কাফকা

  • GCP মার্কেটপ্লেস থেকে Confluent Kafka-এর সদস্যতা নিন।

380b8221724e91d7.png

  • কনফ্লুয়েন্ট ক্লাউডে লগইন করুন এবং একটি ডেডিকেটেড ক্লাস্টার তৈরি করুন

54611bb3ba91a867.png

7e3b9fec07478fc5.png

  • পিয়ারিংয়ের জন্য VPC নেটওয়ার্কের বিবরণ সহ GCP প্রকল্প আইডি প্রদান করুন।

544ea2152de6d447.png

  • প্রদত্ত কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার নেটওয়ার্কের বিবরণ দিয়ে GCP শেষে VPC পিয়ারিং সম্পূর্ণ করুন।

a791c93028f46a10.png

  • কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার এখন সক্রিয় এবং GCP-এর সাথে পিয়ার করা হয়েছে।

c9ebd43fab4a8db6.png

  • GCP থেকে কনফ্লুয়েন্ট ক্লাস্টারে সংযোগ পরীক্ষা করুন।
  • একটি GCE উদাহরণ প্রদান করুন এবং Python3 ইনস্টল করুন।
  • কনফ্লুয়েন্ট ক্লাউডে পাইথন ক্লায়েন্ট কী তৈরি করুন

969ce69a57fda7db.png

  • GCP উদাহরণ থেকে পরীক্ষা স্ক্রিপ্ট "producer.py" চালান:

aaede917f462b5b9.png

  • এখন, AWS ইন্সট্যান্সে উদাহরণ কোডবেস ডাউনলোড করুন এবং GCP থেকে কনফ্লুয়েন্ট ক্লাউডে হাইব্রিড সংযোগ পরীক্ষা করতে "producer.py" স্ক্রিপ্ট চালান।

94da3d8c20f8b234.png

3. অভিনন্দন

অভিনন্দন, আপনি সফলভাবে AWS এবং GCP-এর মধ্যে আপনার মাল্টি-ক্লাউড ক্রস-রিজিওনাল কনফ্লুয়েন্ট কাফকা স্ট্রিমিং প্ল্যাটফর্ম তৈরি করেছেন।

সহায়ক কোডল্যাব**?**

এই কোডল্যাবগুলির কিছু পরীক্ষা করে দেখুন...

আরও পড়া

,
মাল্টি-ক্লাউড ডেটা স্ট্রিমিং

এই কোডল্যাব সম্পর্কে

subjectজুল ১৩, ২০২২-এ শেষবার আপডেট করা হয়েছে
account_circleNeeraj Gaurav, Ravish Garg-এর লেখা

1. ভূমিকা

b412875666fceda8.png

শেষ আপডেট: 2022-02-08

মাল্টি-ক্লাউড স্ট্রিমিংয়ের প্রয়োজন কেন?

ব্যবসাগুলি সক্রিয়ভাবে একাধিক ক্লাউড প্ল্যাটফর্ম জুড়ে তাদের কাজের চাপ ছড়িয়ে দিতে চাইছে কারণ একাধিক ক্লাউড প্রদানকারীকে ব্যবসার কার্যক্ষম কর্মপ্রবাহে গ্রহণ করার বিভিন্ন সুবিধা রয়েছে যেমন:

  • বিক্রেতা লক ইন
  • ব্যবসার ধারাবাহিকতা ঝুঁকি প্রশমিত করুন
  • নির্ভরতা এবং নির্ভরতা এক প্রযুক্তি স্ট্যাকের উপর

আপনি কি নির্মাণ করবেন

এই কোডল্যাবে, আপনি AWS এবং GCP লিভারেজিং কনফ্লুয়েন্ট ক্লাউডের মধ্যে একটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং সেট-আপ করতে যাচ্ছেন। আপনি করবেন:

  • GCP-এ কনফ্লুয়েন্ট ক্লাউডে একটি ডেডিকেটেড কাফকা ক্লাস্টার সেট-আপ করুন।
  • কনফ্লুয়েন্ট ক্লাউড এবং আপনার GCP প্রকল্পের মধ্যে একটি VPC পিয়ারিং সেট-আপ করুন যাতে এটি একটি ব্যক্তিগত নেটওয়ার্কে অ্যাক্সেস করা যায়।
  • আপনার AWS প্রজেক্ট এবং GCP প্রোজেক্টের মধ্যে একটি VPN টানেল সেটআপ করুন যাতে উভয় হাইপারস্কেলারের রিসোর্স সংযোগ করতে পারে।
  • AWS থেকে Confluent Kafka অ্যাক্সেস করুন এবং AWS থেকে GCP পর্যন্ত কনফ্লুয়েন্ট কাফকা ক্লাউড ব্যবহার করে একটি স্ট্রিমিং পাইপলাইন সেট-আপ করুন।

আপনি কি শিখবেন

  • কনফ্লুয়েন্ট ক্লাউড কাফকা এবং আপনার জিসিপি প্রকল্পের মধ্যে কীভাবে ভিপিসি পিয়ারিং সেট-আপ করবেন।
  • কিভাবে AWS এবং GCP প্রকল্পের মধ্যে একটি VPN টানেল সেট-আপ করবেন।
  • আপনার AWS প্রোজেক্ট থেকে GCP হোস্ট করা কনফ্লুয়েন্ট ক্লাউড কীভাবে অ্যাক্সেস করবেন।

এই কোডল্যাবটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং তৈরির উপর দৃষ্টি নিবদ্ধ করে। অ-প্রাসঙ্গিক ধারণা এবং কোড ব্লকগুলিকে চকচকে করা হয়েছে এবং আপনাকে কেবল অনুলিপি এবং পেস্ট করার জন্য সরবরাহ করা হয়েছে।

আপনি কি প্রয়োজন হবে

  • AWS প্রকল্প অ্যাক্সেস।
  • জিসিপি প্রকল্প অ্যাক্সেস।
  • GCP এবং AWS ক্লাউডের অভিজ্ঞতা।
  • GCP মার্কেটপ্লেস থেকে Confluent Kafka সাবস্ক্রিপশন।

2. সেট আপ হচ্ছে

AWS এবং GCP এর মধ্যে VPN সংযোগ সেটআপ করুন

  • এই ডেমোটি GCP-এ ডিফল্ট VPC (asia-souteast1) এবং AWS-এ ng-vpc-103-mum (ap-south1) ব্যবহার করে।

eac371e8af07fc0c.png

c76e9c670e4f8cca.png

  • AWS-এ, গ্রাহক গেটওয়ে এবং ভার্চুয়াল প্রাইভেট গেটওয়ে (VPG) তৈরি করুন। AWS VPC-তে VPG সংযুক্ত করুন।

55a075a6b951b5df.png

fe23f4315e9369ec.png

  • AWS-এ সাইট টু সাইট ভিপিএন সংযোগ তৈরি করুন।

4c59066457f3ff9.pnga2dde7c3e7cf82e9.png

  • AWS-এ তৈরি টানেলের জন্য কনফিগারেশন ফাইল ডাউনলোড করুন। নির্বাচন করুন
  • বিক্রেতা: জেনেরিক
  • প্ল্যাটফর্ম: জেনেরিক
  • সফ্টওয়্যার: ভেন্ডর অ্যাগনস্টিক
  • Ike সংস্করণ: Ikev2
  • GCP-তে VPN গেটওয়ে এবং VPN টানেল তৈরি করুন।

8d167a30913a46e1.png

উভয় টানেলের জন্য ডাউনলোড করা AWS কনফিগারেশন ফাইল থেকে IP ঠিকানা এবং Ikev2 কী প্রদান করুন।

  • একবার সম্পূর্ণ হলে, টানেলটি UP হতে হবে এবং AWS এবং GCP-এ চলমান হবে৷

baca51d151d7c40.png

ceefee82994ef2d4.png

টানেল সেটআপ এখন সম্পূর্ণ।

  • একটি CIDR ব্লক নির্বাচন করুন যা কনফ্লুয়েন্ট ক্লাউড কনফিগার করতে ব্যবহার করা হবে। AWS-এ একটি স্ট্যাটিক রুট হিসাবে এটিকে VPN টানেলে যোগ করুন।

219fa91dc84bd751.png

GCP মার্কেটপ্লেসে কনফ্লুয়েন্ট কাফকা

  • GCP মার্কেটপ্লেস থেকে Confluent Kafka-এর সদস্যতা নিন।

380b8221724e91d7.png

  • কনফ্লুয়েন্ট ক্লাউডে লগইন করুন এবং একটি ডেডিকেটেড ক্লাস্টার তৈরি করুন

54611bb3ba91a867.png

7e3b9fec07478fc5.png

  • পিয়ারিংয়ের জন্য VPC নেটওয়ার্কের বিবরণ সহ GCP প্রকল্প আইডি প্রদান করুন।

544ea2152de6d447.png

  • প্রদত্ত কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার নেটওয়ার্কের বিবরণ দিয়ে GCP শেষে VPC পিয়ারিং সম্পূর্ণ করুন।

a791c93028f46a10.png

  • কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার এখন সক্রিয় এবং GCP-এর সাথে পিয়ার করা হয়েছে।

c9ebd43fab4a8db6.png

  • GCP থেকে কনফ্লুয়েন্ট ক্লাস্টারে সংযোগ পরীক্ষা করুন।
  • একটি GCE উদাহরণ প্রদান করুন এবং Python3 ইনস্টল করুন।
  • কনফ্লুয়েন্ট ক্লাউডে পাইথন ক্লায়েন্ট কী তৈরি করুন

969ce69a57fda7db.png

  • GCP উদাহরণ থেকে পরীক্ষা স্ক্রিপ্ট "producer.py" চালান:

aaede917f462b5b9.png

  • এখন, AWS ইন্সট্যান্সে উদাহরণ কোডবেস ডাউনলোড করুন এবং GCP থেকে কনফ্লুয়েন্ট ক্লাউডে হাইব্রিড সংযোগ পরীক্ষা করতে "producer.py" স্ক্রিপ্ট চালান।

94da3d8c20f8b234.png

3. অভিনন্দন

অভিনন্দন, আপনি সফলভাবে AWS এবং GCP-এর মধ্যে আপনার মাল্টি-ক্লাউড ক্রস-রিজিওনাল কনফ্লুয়েন্ট কাফকা স্ট্রিমিং প্ল্যাটফর্ম তৈরি করেছেন।

সহায়ক কোডল্যাব**?**

এই কোডল্যাবগুলির কিছু পরীক্ষা করে দেখুন...

আরও পড়া